前言昨天我們完成了資料的下載、讀取、初步檢視以及簡單視覺化,對資料集的結構、特徵分布和目標類別已有基本認識。今天,我們要在此基礎上,進行資料前處理(Data P...
前言昨天完成了開發環境建置,今天我們要開始準備邏輯迴歸的資料。首先從網路下載範例資料檔案,然後導入 Jupyter Notebook,進行初步檢視與簡單視覺化(...
前言昨天我們學到了邏輯迴歸的數學基礎,今天要開始準備實作環境。我們會透過 Anaconda 建立虛擬環境,並使用 Jupyter Notebook 作為開發工具...
前言昨天我們介紹了分類任務,今天要從數學和統計的角度認識一個經典的分類演算法——邏輯迴歸 (Logistic Regression)。為了理解它,先要知道它的前...
前言昨天我們談到監督式學習的兩大任務:分類(Classification)與迴歸(Regression)。其中分類任務在生活中最常見,也最容易理解。那麼,分類任...
前言 昨天我們快速比較了 AI、ML、DL 的差異,並提到 ML 的一大類型是 監督式學習 (Supervised Learning)。那麼,監督式學習究竟是怎...
前言昨天我們提到,AI 需要透過資料來學習與訓練。那麼,資料是如何一步步變成可以做出判斷的 AI 模型呢?其實,AI 的核心是各種算法 (Algorithm),...
前言昨天我們分別介紹了 AI 與 Data 的基本概念。今天,我們要更進一步,探討兩者之間的關係,說明為什麼資料是 AI 的基礎,以及 AI 如何透過資料發揮價...
前言AI是近年來引起大家熱烈討論的議題,無論是工作還是生活,我們越來越常看到AI的應用。其中AI與Data有著密不可分的關係,掌握AI與Data相關知識,可以提...
關於GCP 機器學習(後面會簡稱ML)的pipeline部署分為好幾個階段。從data ingestion/preparation再到根據訓練出來的模型來做da...
為什麼需要資料管理工具 隨著開發過程持續推進,通常會產生大量版本的程式碼,並需要使用版本控制工具追蹤這些程式碼,以利後續維護。除了程式碼,訓練資料也需要進行版本...
今天我們會使用 MLDM + MLDE 來進行貓狗圖片分類的卷積神經網路(Convolutional Neural Network,CNN)模型訓練,並進行以下...
過去在 DL 模型的開發過程中,要追蹤大量的資料和實驗結果可能需要結合多項工具,形成較高的學習成本;針對這些問題,HPE 推出 MLDM、MLDE 作為解決方案...
這幾天的文章主要分享三個頗受好評的模型實驗管理工具,市面上還有很多類似的工具,這些工具各有特色與強項,團隊可視情況選擇好維護的工具。 這些工具的目的都是在幫助團...
相較於 Tensorboard 與 Weight&Biases,MLflow 更著重於「公司內部的多人專案」的實驗管理上,主要讓工程師自己建立屬於公司內...
大致功能與 Tensorboard 相同,但是整合了更多的深度學習(Llamaindex、Langchain、HuggingFace…)與機器學習(Sciki...
Tensorboard 算是深度學習早期最著名的實驗管理工具,至今依然十分熱門,它主打幾個功能: 視覺化的方式呈現模型訓練的Loss曲線和評估指標 視覺化的方...
我們知道在做模型建立、模型驗證的時候需要思考以下幾個問題: 多人協作如何紀錄分析每位協作者的實驗紀錄,如何從眾多的實驗紀錄中快速比較出預測效果最好的模型? 當...
上傳資料到 Repository 先執行以下指令來將範例檔案 0050.csv 上傳到 Repository: (mldm) aif@aif % pachctl...
今天的文章將接續昨天的內容,說明具體來說,如何透過 HPE MLDM 讓資料前處理工作自動化,以及使用內建的版控功能,管理大量資料與前處理程式。 實作 接著我們...
為什麼我們需要資料版本控制? 在開發過程中,隨著時間的推移,團隊常常因為模型效能或其他考量,不斷更新訓練資料,最後累積出大量版本。想像一個情境:在增加一些訓練資...
最近看到一些文章討論【Math. for programmers】,談到程式設計師要具備的數學素養,尤其是AI盛行後,許多數學與統計學科開始影響我們,例如下圖:...
前言 hi~各位恭喜脫離了痛苦的前兩周 相信跟者學習的你,一定也有所收穫今天我會選標題這六大主題(excel處理、爬蟲、Powerbi整合、網頁應用程式、自動化...
在開發過程中,隨著時間的推移,團隊常常因為模型效能或其他考量,不斷更新訓練資料,最後累積出大量版本。想像一個情境:在增加一些訓練資料後,模型就訓練不起來了,這時...
部署時會用到的功能設計 部署時的功能主要就是要將模型推論的功能建立成 API 讓使用者或其他服務可以調用,這個部分與一般的 API 開發基本相同,開發團隊可以使...
自動化時會用到的功能設計 在完成一個模型後,也可以選擇是否要加入自動化利用新資料定期更新的功能,如果當前的專案還不需要這項功能,想要直接將模型部署上線,那麼就可...
在昨天的文章中,描述了機器學習開發專案的流程,大致可分成三個部分: 從資料處理到模型驗證的「開發」 將開發模型訓練做排程處理的「自動化」 將模型上線使用的「部...
其實,選擇套件並不是一件困難的事,無非就是根據需求、經費等因素考量後,按圖索驥選出適合團隊的工具而已。以下將簡單列舉挑選特定套件的原因,讀者可以根據團隊需求自由...
在設計 MLOps 系統時,主要會以開發團隊目前的機器學習專案開發流程為基礎,並以此設計系統。下圖是一般常見的模型開發流程,可以看到在取得原始資料後,會先做不同...
CDF 基金會 MLOps 小組的白皮書中不斷提到,MLOps is not "putting Jupyter Notebooks into prod...